這篇文章，將帶著各位認識機器學習，以及帶著各位解密 ChatGPT 的背後究竟是以什麼原理運作、能夠有什麼利用的方式或用途。此外，也會帶各位認識 ChatGPT 與其他相關技術的區別、未來的影響，甚至可能會面臨的機遇與挑戰。
機器學習是一種基於數據的人工智能技術，通過對大量數據進行分析和學習，讓計算機能夠自動進行決策或預測。機器學習的基本思想是從過去的經驗中學習，通過對大量樣本的分析，從中發現規律和模式，並且將這些知識應用於未來的預測和決策中。
機器學習技術可以分為監督式學習、非監督式學習和強化學習。在監督式學習中，算法通過對已知的數據進行標記，從而學習出一個可以對未知數據進行預測的模型。在非監督式學習中，算法通過對數據進行分類、聚類等操作，從而發現數據中的隱藏結構和模式。在強化學習中，算法通過與環境的交互，從環境中學習如何選擇最優的行動，以實現某個目標。
機器學習技術已經廣泛應用於許多領域，如圖像識別、語音識別、自然語言處理、推薦系統、金融風險控制等。隨著數據量的不斷增加和計算能力的提升，機器學習技術的應用前景仍然十分廣闊。
ChatGPT是一個基於機器學習技術的自然語言處理模型，它的運作原理是通過大量的文本數據訓練出一個深度神經網絡模型，從而實現自然語言的生成和理解。具體來說，當用戶輸入一段文本時，ChatGPT會通過自然語言處理算法將其轉化為數據形式，然後通過模型進行計算和學習，最終生成相應的回答。
其運作原理主要包括下列幾個方面：
ChatGPT 是一個預訓練的模型，它的核心是使用海量的文本數據進行無監督的預訓練。這些文本數據包含了各種不同主題和形式的語言，例如維基百科、網頁文本、小說等。透過這些數據的學習，可以讓 ChatGPT 學習到自然語言的結構和規則，從而提高對語言的理解和生成能力。
ChatGPT 使用轉移學習的方法，將預訓練模型轉移到不同的任務中，從而進一步提高其在特定任務上的表現。例如，當需要進行問答任務時， ChatGPT 可以通過微調預訓練模型，讓其更好地理解問題和生成答案。
ChatGPT 的核心是 Transformer 模型，它是一種基於自注意力機制的深度學習模型，可以對長文本進行高效的處理和理解。 Transformer 模型主要包含了 Encoder 和 Decoder 兩部分，Encoder 用於將輸入文本轉化為特徵向量， Decoder 用於從特徵向量中生成輸出文本。
ChatGPT 在生成文本時使用了 Beam Search 算法，該算法可以生成多個候選答案，從中選擇概率最高的答案。透過 Beam Search 算法， ChatGPT 可以生成更加流暢、自然的文本，提高了其生成文本的質量。
ChatGPT 的應用非常廣泛，可以用於自然語言處理、翻譯、問答、智能客服等領域。例如，在智能客服領域中，ChatGPT可以通過對話模擬和分析，幫助企業更好地了解用戶需求，提供更好的產品和服務。
自然語言處理是指計算機通過對人類語言的理解和生成，實現自動處理和分析文本的技術。 ChatGPT 作為一個自然語言處理技術，可以理解和生成自然語言，並通過對語言的結構和含義進行分析，提高文本處理和分析的準確度。
在翻譯方面， ChatGPT 可以通過分析不同語言之間的語言結構和表達方式，將一種語言翻譯成另一種語言，提高翻譯質量和準確度。
而在自動回覆方面， ChatGPT 可以自動產生回答，提高問答系統的效率和準確度。
與其他類似技術相比， ChatGPT 的區別在於它是一個基於深度學習的模型，通過大量的文本數據訓練出來，具有更好的自主學習能力和適應能力。ChatGPT在自然語言生成方面表現出色，可以生成具有情感和人性化的回答，進一步提高了用戶體驗。
並且， ChatGPT 針對有害內容（例如性、宗教、政治、種族等）議題，都做到了良好的過濾機制，這點是許多其他 AI 模型無法達到的。
ChatGPT 的出現將對未來產生重要的影響。上文亦提到它可以應用於多個領域，進一步提高了機器學習技術的應用價值和廣泛性。 ChatGPT 的出現也意味著未來人類和機器之間的交互將更加自然和流暢，將改變人們的生活方式和工作方式。
AI 的發展，讓一個議題漸漸浮出檯面，那就是「某種職業是否會被 AI 取代？」，這邊和各位介紹幾種在 ChatGPT 的發展下，最有可能被 AI 取代的職業：
ChatGPT 可以替代人工客服，自動回答客戶的問題。尤其是對於一些重複性高、標準答案明確的問題， ChatGPT 的效率和精確度都遠高於人工客服。
ChatGPT 可以實現自然語言翻譯，未來可能會取代一些翻譯人員的工作。尤其是對於一些日常性、常規性的翻譯工作， ChatGPT 的效率和精確度也遠高於人工翻譯。
ChatGPT 可以通過學習大量的語言數據，自動理解和生成自然語言，未來可能會在某些程度上取代一些語言學家的工作。
隨著 ChatGPT 技術的不斷發展和完善，它將可能取代一些需要進行自然語言處理的職業，但反面來說，同時也將創造出更多的職業機會和發展空間。
機器學習技術的發展為人們帶來了許多機遇，例如可以通過自動化減少重複性工作、提高工作效率等。同時，這些技術也帶來了挑戰，例如使用者數據的隱私保護、人工智能監管等問題需要得到重視和解決。
ChatGPT 曾經傳出為了讓語言模型能夠更明確的辨識敏感內容，聘用低薪員工來進行人工判讀、訓練，這導致了倫理相關的爭議。後續若是 ChatGPT 或有其他語言模型的發展，都應該慎重考慮這一點的問題。
部分資料經過 ChatGPT 生成，並經過多筆資料查詢進行證實。
這篇文章和各位介紹了機器學習、 ChatGPT 的原理，以及對於現在和未來的相關內容介紹。筆者在 ChatGPT 推出前，也甚少接觸甚至探討人工智慧的領域，寫這篇文章時，也常常遇到不理解的內容，查閱了不少資料才寫出這篇文章。
期望這篇文章能夠讓大家更加認識機器學習、 ChatGPT 的技術與未來，感謝您的閱讀！
翻譯我不確定，但想取代掉語言學家個人還是認為相當困難的
純粹是現在 Chomsky 那派的語言學家比較容易被取代，也就是那群讓大家覺得
「語言學 = rule-based」這等刻板印象與污名的語言學家
ChatGPT 的出現反而驗證了一直不得其志，在語言學界難以伸張的認知與功能語言學家
他們對於語言習得的理論反而在 ChatGPT 的成功得到一定的驗證，並帶來了更多的研究課題
更不要說世界上共有 7000 多種語言，許多語言的保存與研究尚未解決
而且 ChatGPT 現在也只有文字單一模態，語音和書寫文字以及各種影像的語言處理都還沒有被解開
反倒是其他非開創性的工作的從業人員似乎才比較容易被取代
例如專職 coding 的程式設計師（我知道還沒，因為現在它 debug 還不夠強，而且難保其背後也需要一些 coding 人員維持）
傳統的繪師與作家等（但難保以後有人會喜歡手工的繪圖與文章）
————————————————————————————————
總覺得語言學家還是在亞洲的圈子比較被歧視呢 :'(
而且其實我親自也問過 ChatGPT 語言學家是否真的沒有用了，以下它的回答我甚至認為比許多芸芸眾生看不起語言學的言論還要客觀許多
不完全是這樣的。儘管 ChatGPT 等人工智能技術可以處理某些自然語言處理問題，但這些技術仍然需要大量的數據和人工標註才能達到最佳效果。在某些語言或文化中，這樣的數據可能非常稀缺或不存在，這樣就需要語言學家和文化專家來進行研究和調查，以幫助建立更好的自然語言處理模型。
此外，即使有大量的數據可用，自然語言處理技術也有其限制和局限性。例如，它們可能無法完全理解某些語言中的隱含意義或語言中的文化和社會因素，這些因素可能只能通過深入了解當地的文化和習慣來加以理解。因此，語言學家和文化專家的角色仍然非常重要，以確保自然語言處理技術的準確性和可靠性。
最後，我把文章中對於職業取代的部分拿去詢問 ChatGPT
想不到他說出了我想說的話，還說得比我更好更客觀
僅供各位參考。只能說語言學家就像物理學家、數學家一樣，任務是探究本質，而不是成為應用其理論所造出的機械本身⋯⋯
這篇文章提到 ChatGPT 對未來的發展和影響，以及可能取代某些職業的可能性。針對語言學家這一點，文章認為 ChatGPT 可能在某些程度上取代一些語言學家的工作。從技術的角度來看，ChatGPT 確實可以透過學習大量的語言數據，自動理解和生成自然語言，但是這並不代表 ChatGPT 可以完全取代語言學家的工作。
語言學家的工作不僅是關注語言的表層現象，也包括研究語言背後的文化、歷史、社會背景等方面。語言學家透過研究語言的系統性和歷史演變，可以深入了解語言的本質和演化過程，這些是 ChatGPT 無法實現的。因此，語言學家在語言研究方面的專業知識和技能仍然是必要的。
當然，隨著 ChatGPT 技術的不斷發展和完善，它可能會在某些方面提高語言處理的效率和精確度，並且對某些語言學家所從事的工作產生影響。但是，這並不代表語言學家的工作會被 ChatGPT 完全取代。
因此，這篇文章提到的 ChatGPT 取代語言學家的論點並不完全客觀正確，需要更加深入和全面的討論和評估。
本文所指的語言學家是對於文字或語句文章之理解方面，或是從事翻譯等不涉及情感或過度複雜的思考方面之工作。
主要想強調的是ChatGPT或其他未來出現的語言模型能夠取代的工作應會是「非必須仰賴情感因素」之工作，而若是文學家或寫文章這種需要融合情感與知識的工作，較難被取代。
此點也感謝您的指正與指教
關於您提出的程式設計師方面，若是針對某指定主題進行編程， AI 理論是與目前的 ChatGPT 實際上是可以做得到的。但就目前看來，只具備「製作」的能力，而無法涉及「設計」，也就是想出創新的點子。
翻譯這點個人覺得傳統的翻譯系統較沒有主要的以 AI 來輔以進行，若有人工智能通過學習來進步，並且融入語音辨識與文字轉語音系統，進行翻譯師的工作便有著相當大的可行性。
Winson 您好
由於個人長期研究語言學，未來也有攻讀語言學的打算（雖然至今一直在電機資工學習，並以語音和 NLP 為主，直至去年才開始正式學習科班的語言學），因此以我學到的語言學來說，我可以分享一下我的經驗：
最後簡單的描述我的觀點：純粹意思對應的翻譯家絕對比要加入文化情感的翻譯家難以取代，但這兩者都不可能取代「真正的」語言學家（您認為純粹標記的那些並不算真的語言學家，他們比較接近作業員），甚至語言學家還會需要他們來協助加速語言的研究工作。
Winson 您好
個人的研究所題目就是在做語音處理，請不要認為世界上所有的語言都已經有文字標註，光是臺語的語音就已經沒有很一致的書寫標準（至少各家還在吵），更不要說其他南島語原住民族語等，因此就文化的保存上，現存的語音科技還很難做到，唯一可能比較接近的只有 Meta 最近的系統（雖然那個研究也與我們實驗室有不少關聯），但目前表現尚且需要改進，除了資料問題，還有各種人類的語言知識還沒有完全被寫進演算法中（我的碩士論文就是因為這個所以卡得比較久）
本來還想說點什麼的，但我發現 ChatGPT 寫得比我還好，還不用自己打字，貼出來給各位參考
太強大了，他知道我正要拿其他語言學的廣泛性與其他領域來說，它甚至自己幫我舉例了。
很感謝它當了我的傳聲筒～我詢問 ChatGPT 的問題是：
請問您認為作者對於語言學家的論點是否客觀正確？再者，留言中作者對於 ChatGPT 的角色看法有何偏頗的問題或正確之處？
（以下為 ChatGPT 的回覆）
從作者的留言中，我們可以看出作者對於語言學家的論點存在偏頗。作者指責語言學家僅關注語言的結構和規則，忽略了語言的使用情境和意義。然而，這種說法並不客觀正確。事實上，語言學家在研究語言時，會從多個角度進行分析，包括音韻學、語法學、詞彙學、語用學等多個領域。此外，語言學家也關注語言的使用情境和意義，例如語用學就是研究語言在溝通中的功能和效果。
另外，作者對於 ChatGPT 的角色看法也存在偏頗。作者認為 ChatGPT 只是一個機器人，沒有真正的思維和判斷能力，因此無法提供有用的回答。然而，事實上 ChatGPT 是一個由大量文本資料訓練出來的語言模型，可以根據所提供的問題和資料，生成合理的回答。當然， ChatGPT 也有其限制，例如它不能像人類一樣理解情感和主觀性，但在某些情況下，它可以提供有用的資訊。因此，我們應該客觀看待 ChatGPT 的角色和能力，而不是對它有偏頗的看法。
今天又仔細看了您的回覆，覺得自己有必要小小澄清一下
首先，我的任何留言與文章內容都沒有對於語言學家進行指責，我的文章中的意思是指我對於個人認為之語言學家工作的分析，對於其完整的工作內容本人不清楚也不討論，並沒有進行任何指責與偏見。
接著對於 ChatGPT 的角色，筆者敘述的意思為「沒有實際情感」，這點以目前的技術與理論來說是無庸置疑的，對於 ChatGPT 認為「作者認為 ChatGPT 只是一個機器人」，這點感到相當的困惑。而其回答中的「 ChatGPT 也有其限制，例如它不能像人類一樣理解情感和主觀性」卻正是本人文章或留言內的意思。
抱歉我好像有點太激動了，說部分「語言學家」我確實不否認（雖然個人是認為這類語言學家不算真正的語言學家，ChatGPT 正好可以做一個語言學界的「純化」——當然這樣講也是比較不尊重就是，畢竟不是每個人都一定要求要做有開創性的貢獻）。還是很謝謝您的分享。
對於語言學這一方面個人確實並不太了解，若有誤解或迷思非常感謝您的指點。
關於 ChatGPT 的身分或實際完全具備的能力，又或是其他未來出現的語言或圖像辨識等人工智慧模型，對於現在的社會來說都是一個未知、新穎的科技，面臨著種種的評價。期望這一層面的問題，能夠在未來被解惑！
再次感謝您對於文章的內容提供指點與意見！
Hi jeffeux，您對語言學的理解有些與事實不符的地方呢。
純粹是現在 Chomsky 那派的語言學家比較容易被取代，也就是那群讓大家覺得「語言學 = rule-based」這等刻板印象與污名的語言學家
簡言之「Chomksy 不是 rule-based」。而且在 Chomsky 的學生中，試圖重新接上傳統語言學的 HPSG/GPSG 而被稱為 "rule-based" 的那位 Ivan Sag 教授，是被視為放棄 Chomsky 的方法的。
也就是說，您提的「語言學 = rule-based」這件事，和 Chomsky 無關。
現在的 AI 工程上的成功，的確重重地打擊了 rule-based 的傳統語言學方法，但是 Chomsky 不是做 1955 年以前的傳統語言學的。他做的是 1957 年後的現代語言學。
相反地，LLM 發生的遷移學習現象，反而隱隱約約暗示 Chomsky 所提倡的「其實人類只有一種語言。各種語言的表面差異，只是底層結構的一種變體而已」是正確的。也就是說，因為 LLM 可能學會了一些底層結構的東西，所以才能用 A 語言訓練，卻能在 B 語言上得到一定程度的表現。
所以，讓大家覺得「現代語言學 = rule-based」大概不是語言學家，而是沒有搞清楚歷史發展的人。
一直不得其志，在語言學界難以伸張的認知與功能語言學家
依據《人文與社會科學簡訊 2016》中就提到「…無論是在國內或是國際上，以語言學期刊論文及專書的屬性來看，或是以語言學家的專長來看，生成語言學 ([按]和認知功能語言學派相比) 在數量上都是相對比較弱勢。」
如果在「國內、國際、期刊、專書、專長」上來看，功能語言學家都是強勢的情況下，您指的「難以伸張」似乎和事實不符。因為事實上是伸展得很好，每年都從各種研究補助以及跨領域合作裡獲得不少經費呢。
先前的工具都不夠可靠才得需要人力標註；這點顯然已經要開始被改變，而且我也在向語言學者們重新提起以前做不到的那些需要大量資料標註的題目，這點尤其對於認知語言學家來說更是如此
Chomsky 的現代語言學直到 2010 年左右才算理論完備。可以不用人工標記，不需要統計語料或是大型訓練資料庫。我依他的理論獲得了兩項發明專利。
我沒有語言學的 PhD，所以稱不上是一位語言學家。不過泡在語言學這個領域裡大概粗估已經 26 年，期間除了修過您提的「Chomsky 那一派」的語言學課程，也修過您提的「認知與功能學派語言學」的課程。甚至還上過前述的 Ivan Sag 教授的課，最近十二年也經營了一間專門以語言學知識結合機器學習/深度學習技術做服務的公司。
從您的文字裡，我似乎可以感覺到一股對 Chomsky 這一派語言學的憤怒 (例如「這等刻板印象與污名的語言學家」、「ChatGPT 正好可以做一個語言學界的純化 」)，不知道是不是受了哪一位 Chomsky 學派語言學家的鳥氣呢？如果有某位 Chomsky 學派的語言學家對您造成了什麼傷害，您可以回想一下：1.他們才是在語言學界有志難伸的一群！ 2.他們賺的錢比您的電機資工少太多了。這樣會不會讓您覺得好過些呢？
謝謝您的指教，實屬獲益匪淺～
只是不認同最後一句「他們賺的錢比您的電機資工少太多了」
我覺得他們該多賺那些錢的（畢竟我就是想從電資跳去語言學但被萬般阻撓，說會餓死的那個），甚至當 NLP 的人在使用語言學的知識時，也許應該給點經費贊助的（而不是只是買語料庫而已），
或者更好的——建立起基於語言學（指沒有語言學發展不了）的產業，這樣才有資源跟資本讓人願意投資這個值得投資的領域。
是說「經營了一間專門以語言學知識結合機器學習/深度學習技術做服務的公司」該不會是說做出了 Articut 這個只有用語言學規則（現在好像是要邁向 hybrid system）做斷詞的卓騰吧？ XD
Hi jeffeux：您提到以下的論述，與學界的想法有點出入。
ChatGPT 的出現反而驗證了一直不得其志，在語言學界難以伸張的認知與功能語言學家他們對於語言習得的理論反而在 ChatGPT 的成功得到一定的驗證
針對「難以伸張的認知與功能語言學家」這點，我同意peterwolf的論點，不再贅述。
認知與功能語言學家對於語言習得的理論，是高度仰賴語言使用的溝通功能、情境、類比延伸、與使用者互動回饋，在這一點基礎上，的確與訓練如ChatGPT此類LLM方式相同，但這不代表ChatGPT的「工程成就」驗證了認知與功能語言學家對於語言習得這個「認知科學問題」的立場。如Linzen & Baroni兩位資料科學教授在2021年的文章中，在p.207提到以下看法：
Google 的 BERT 需要 40 億字的資料庫，GPT-2 需要 80 億字，T5 更是超過了 1000 億字 (Raffel et al. 2019)。一個關鍵的人腦-機器對比是成功發展母語 (以英語為例)的健康人類孩童一年能夠接觸到資料量頂多只有 1000 萬字 (Hart & Risley 1995)，而這個巨幅資料量差異導致只要 LLM 高度依賴海量資料，那麼無論 LLM 的表現如何，對於整體認知科學的根本理解與實際貢獻都有侷限性。
總之，學者們的意見是**「工程成就與學術貢獻不能劃上等號」**，因此您所謂的「ChatGPT 的出現反而驗證了一直不得其志，在語言學界難以伸張的認知與功能語言學家他們對於語言習得的理論反而在 ChatGPT 的成功得到一定的驗證」在科學研究邏輯上是不成立的。
參考文獻
Hart. B & T.R. Risley. 1995. Meaningful Differences in the Everyday Experience of Young American Children. Baltimore, MD: Brookes.
Linzen, T. & M. Baroni. 2021. Syntactic structure from deep learning. Annual Review of Linguistics 7: 195-212.
Raffel, C., N. Shazeer, A. Roberts, K. Lee, S. Narang S. 2019. Exploring the limits of transfer learning with a unified text-to-text transformer. arXiv:1910.10683 [cs.LG]
謝謝 @peterwolf 跟 @biolinguist
我承認我的用詞是相當不適當的，也從兩位的言論學到很多。
可能只是身邊的人都在「語音處理／NLP 用不到語言學啦！」因此在寫 paper 跟模型設計上都太強調「硬 train 一發」的同溫層待得不開心而已。
很抱歉前面太大放厥詞了，這樣刻意過度簡化事實的理解事情是我的不對。
下次會多看一些文獻再來發表的。我只是希望不要大家認為「AI 跟 NN 就是人類心靈的最終解答，而且已經是 AGI、已經要取代人類、社會科學與語言學無用」就好了。
特別感謝 @peterwolf，我自己在語言學的歷史面確實知道的很少，所幸有您這樣願意糾正我的大神甘願給出這樣的歷史脈絡讓我知道去從哪方面繼續研究（畢竟背景不是做這個的）
關於您的第二點，我知道在語言學界近年認知的研究經費比較多，但在 NLP 這邊似乎還不太有人以functional 的學說和概念去發展模型
最後尾巴的「2.他們賺的錢比您的電機資工少太多了。這樣會不會讓您覺得好過些呢？」我並沒有覺得好過，其實我一直在想有沒有產業可以基於語言學建立起來。
電機資工這邊打打 code 就拿那麼多錢實屬過分了
沒有產業似乎也間接導致在臺灣很難有語言學系的誕生，語言所的話語權也不太多，還被一些人認為是只會說「論文要用十幾種語言寫」這種無聊言論的混亂份子。
⋯⋯好啦我知道我好像言過其實了 :'( 但我真的認為資源跟資本不能只偏重在電資這邊，讓我每每跟身邊的人說要做語言學就會被嘴⋯⋯
最後也謝謝 @biolinguist，我知道國外對「NLP 不等於語言學」這點算是比較多人認同的，但在華語圈似乎很大一部分的人都覺得「語言學已經完全被 NLP 驗證了」，我只是在難過這點⋯⋯
真的很感謝還有懂語言學的人願意跳出來科普(語普？)語言學的人在做的事 <(_ _)>
iThome鐵人賽
看影片追技術